Diskussion



Leveraging Advanced Statistical Methods in Empirical Educational Research: Handling Missing Data and Harnessing Machine Learning Methods

Samuel Merk | Pädagogische Hochschule Karlsruhe | GEBF 2024

Symposium

Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data

Jakob Schwerter, Ketevan Gurtskaia, Andres Romero, Birgit Zeyer-Gliozzo, Philipp Doebler

Resampling-Based Approaches for Nonparametric MANOVA in the Presence of Missing Data

Lubna Amro, Markus Pauly

Prediction Rule Ensembles: Introduction and Application with Multiple Imputation

Philipp Doebler, Marjolein Fokkema, Vincent Schroeder, Jakob Schwerter

A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments

Rudolf Debelak, Benjamin Wolf

Disclaimer

©️ https://bit.ly/43kY0Yl

©️ https://bit.ly/43kY0Yl

Diskussion Forum

  • Metascientifische Kommentare
  • Rückfragen
  • Forum

Metascientifische Kommentare

Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data

  • M.E. klare Anbindung an bildungswissenschaftliche MI-Literatur erkennbar
  • Motivation aus meiner anwendungsorientierten Perspektive klar vorhanden,
    • insbesondere der Verzicht auf starke parametrische Annahmen und die
    • Robustheit gegenüber Missspezifikationen scheint mir anwendungsfreundlich

Prediction Rule Ensembles: Introduction and Application with Multiple Imputation

  • PRE erscheint mir u.a. aufgrund der Balance von Predictive Power und Interpretierbarkeit attraktiv für die empirische Bildungsforschung
  • Das Problem des »Vanilla Umgangs« mit Missing Data daher Straight Forward

A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments

  • Erfolg des Ansatzes würde den Trade-Off zwischen Forschungsökonomie und Informationsgehalt von offenen Antwortformaten lösen/eindämmen
  • Prädiktion der Human Ratings mit Embeddings via Lasso Regression

Forum

Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data

  • “Ökologische Validität” der simulierten Szenarien
    • Scheint per Eye Test gegeben
    • Wie wurden sie festgelegt?
    • Wäre eine empirische Bestimmung vorteilhaftdie Arbeit wert?
  • Eine Kernbotschaft scheint mir »Power hui - False Positives pfui« zu sein
    • Gibt es Ideen zur Ursache dieses Musters?
    • Gibt es Szenarien für die Anwendung, in der False Positives weniger stark zu gewichten sind als False Negatives
    • Wie fällt der Vergleich zu MICE PMM aus, nachdem die Fehlertypen methodenspezifisch balanciert wurden?

Forum

Prediction Rule Ensembles: Introduction and Application with Multiple Imputation

  • Wo rangiert PRE auf einem Kontinuum mit den Polen »Explanative Modellierung« »Prädiktive Modellierung«
    • Beispiele wie PRE in der empirischen Bildungsforschung zur
      • »Integration verschiedener Theorien« oder
      • »Vermeidung des Übersehens von Prädiktoren« beitragen?
  • “Ökologische Validität” der simulierten Szenarien
    • Scheint per Eye Test gegeben
    • Wie wurden sie festgelegt?
    • Wäre eine empirische Bestimmung vorteilhaftdie Arbeit wert?
  • Wie praktikabel sind »größere« \(N\)?
  • »6 rules and one linear term generate the outcome variable«
    • Was wäre bei umgekehrtem Szenario?

Forum

A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments

  • Kontext zu den Texten
    • Thema
    • Textkomplexität
    • Texthomogenität
  • Spricht etwas gegen die Publikation der Texte?
  • Lasso Regression
    • Wie fiel die Entscheidung dafür?
    • Würde Vergleich mit anderer Vorgehensweise (z.B. Distanzmaße) Sinn machen?
  • Wie ähnlich sind die Ergebnisse zu verlgeichbaren Studien?

Literatur